<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>CMG Technologies</title>
<meta name="Description" content="" />
<meta name="Keywords" content="" />
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<link rel="stylesheet" type="text/css" href="style.css" media="screen" />
<style type="text/css">
    p {
        text-align: justify;
    }
</style>
</head>
<body>
<div id="wrap">
  <div id="header">
    <h1><a href="#">NeuralStudio</a></h1>
    <h2>Aplicaci&oacute;n did&aacute;ctica para Redes Neuronales</h2>
  </div>
  <!--div id="menu"> <a href="#">Home</a> <a href="#">About </a> <a href="#">Contact</a></div-->
  <div id="content">
      <a href="index.html">Regresar</a>
     <h2><a name="adaline">Adaline</a></h2>
    <img src="adaline.png"/>
    <p>Adaline significa Adaptive Linear Element, y representó un gran adelanto en el campo de redes neuronales.
        En principio, la arquitectura adaline es muy similar al perceptron, siendo la única diferencia el hecho de
        que las neuronas de adaline usan una función de transferencia lineal (la cual llamaremos Purelin),
        en vez del limitador fuerte de sus contrapartes en el perceptron. La forma de la función lineal es:
    </p>
    <img src="flineal.png"/>
    <p>
        La función identidad, de tal forma que la salida es igual a la entrada. En 1960, Bernard Widrow junto a su
        estudiante Marcian Hoff desarrollaron el Adaline, un tipo de red neuronal de entrenamiento supervisado que
        aun hoy se sigue usando con gran éxito en varias aplicaciones. Tal vez el adelanto más importante de adaline
        fue el algoritmo de entrenamiento, llamado Delta Rule (Regla Delta), algoritmo LMS (Least Mean Square,
        mínimo error cuadrado en español) o algoritmo Widrow-Hoff, en honor a sus desarrolladores. Este algoritmo
        resulta ser mucho más poderoso que la regla de entrenamiento del perceptron, por lo que adaline suele ser
        una red más robusta y con menor sensibilidad al ruido que el perceptron. La salida de una red adaline de
        una sola neurona es de la forma:
    </p>
    <img src="flineal2.png"/>
    <p>
        De lo anterior podemos extraer el hecho de que la salida de la red se puede encontrar en el intervalo (-∞,+∞).
        De igual forma que el perceptron, un adaline forma una frontera de decisión con base a sus parámetros internos.
        La forma de la frontera de decisión es similar a la del perceptron y está dada por la expresión:
    </p>
    <img src="frontieradaline.png"/>
    <p>
        El algoritmo LMS como su nombre lo indica, busca minimizar el cuadrado del error de la red, a través de una
        búsqueda secuencial sobre una superficie conformada por los parámetros internos de la red llamada superficie
        de desempeño; por lo que se trata de una forma de entrenamiento supervisado. Este algoritmo pertenece a la
        familia de los métodos tradicionales de optimización, en los cuales se persigue encontrar un mínimo global
        de una función de costo determinado.<br/>
        La regla de aprendizaje para los pesos y sesgos (biases) de cada neurona del adaline en la iteración k es:
    </p>
    <img src="lmsrule.png"/>
    <p>
        donde w_(k+1) es el nuevo peso producto del aprendizaje, w_k el peso en la iteración k, p_k la entrada a la red
        en la iteración k, ε_k el error de la iteración k definido como:
    </p>
    <img src="perror.png"/>
    <p>
        donde t es la salida deseada y a es la salida real de la red en la iteración k; y el término α representa un
        concepto no visto hasta el momento, llamado tasa de aprendizaje. La tasa de aprendizaje es un parámetro que
        'afecta la capacidad y la velocidad de la red para aprender de la experiencia, puesto que dicta el tamaño de
        los incrementos de búsqueda que el algoritmo utilizara en su búsqueda del menor error. Este parámetro es de
        suma importancia para este tipo de algoritmos de entrenamiento, puesto que si es muy pequeño la red demorara
        mucho tiempo en alcanzar errores pequeños, mientras que si es muy grande conducirá a grandes oscilaciones en
        la trayectoria de búsqueda, y eventualmente a la imposibilidad de aprender.<br/>
        De igual forma que el perceptron, el uso efectivo de adaline está limitado a los problemas de clasificación
        linealmente separables. A pesar de lo anterior, adaline ha sido un tipo de red neuronal tremendamente exitoso
        en diversos campos de la ingeniería, en parte debido a la gran robustez del algoritmo de entrenamiento que utiliza
        , puesto que por su estructura de minimización permite alejar la frontera de de decisión lo más posible
        de los datos, mejorando enormemente su tolerancia al ruido en comparación al perceptron. Por otro lado,
        adaline sentó las bases para el entrenamiento de perceptrons multicapa, a partir de su revolucionario
        algoritmo de aprendizaje.
    </p>
  </div>
</div>
</body>
</html>
